Mind What Matters for Reasoning: Aligning Cross-Modal Attention via Selective Probability Mass Concentration
关注推理重点：选择性概率质量集中的跨模态注意力对齐
🧭 多模态训练 · 注意力对齐
University of Technology Sydney · East China Normal University · The University of New South Wales · Shanghai Jiaotong University · The Education University of Hong Kong
提出 sPMC 训练框架，仅对少量视觉grounding敏感注意力头做概率质量集中正则，零样本平均提升3%
📌 工作参考价值（4 点）
- 少而精的头选择正则：不全局约束所有注意力头，而是先识别对视觉证据 grounding 敏感的少数头（3%-15%），再做任务相关正则；可迁移到电商多模态商品理解/推荐理由生成，保留语言先验与通用能力，避免过正则导致性能下降。
- 用弱监督区域先验引导注意力：借助 segmentation mask / 商品主体框等空间先验，让文本到图像注意力概率质量向语义相关区域集中；无需大规模推理标注，对图文匹配、多模态搜索相关性建模有直接借鉴价值。
- 训练成本低、推理零开销：sPMC 只在训练阶段施加正则，不改推理架构，适合作为现有 MLLM 流程的插件式训练技巧；在电商 Agent 或多模态搜索中可较快验证。
- 注意力头功能分析可复用：Adaptive Head Selection 的思路可迁移到任何多模态 LLM 或推荐模型中，先探测头功能再定向优化，减少无效训练。